Dân cư trên đảo sống tập trung trong một thung lũng hình bán nguyệt ở tọa độ 8°40′57″ Bắc 106°36′10″ Đông. Thung lũng có chiều dài từ 8 đến 10 km, chiều rộng từ 2 đến 3 km và có độ cao trung bình khoảng 3 m so với mặt nước biển. Một mặt trông ra vịnh Đông Nam trong khi ba mặt còn lại vây quanh là núi. Khu vực này nằm ở khoảng giữa của sân bay Cỏ Ống và cảng Bến Đầm (khoảng cách ước chừng là 12 km). Đây là nơi tập trung toàn bộ đời sống kinh tế, chính trị và xã hội của quần đảo nhưng không mang danh nghĩa đơn vị hành chính thực sự vì Côn Đảo chỉ có chính quyền một cấp (là cấp huyện), không có xã hoặc thị trấn.

Dân số Côn Đảo tính đến cuối năm 2016 khoảng 8.000 người thuộc 10 khu dân cư.